2.3: Toelichting features¶
Voor het maken van het voorspellende model hebben wij feature engineering toegepast op de labeled en unlabeled dataset. De toegevoegde features zijn hierboven te zien. Door het toepassen van feature engineering proberen wij de prestaties van ons voorspellend model te verbeteren.
Hieronder zullen wij elke toegevoegde feature toelichten.
Mel-Frequency Cepstral Coefficients (MFCCs)¶
Als eerste voegen wij meerder MFCCs toe aan onze dataframe.
Dit zijn coëfficiënten die de vorm van het spectrum van geluiden beschrijven. Ze worden berekend door een Fourier-transformatie toe te passen op kleine tijdvensters van het signaal, waarna de logaritme van de amplitudes wordt genomen, gevolgd door een discrete cosinetransformatie. Het resultaat is een reeks coëfficiënten die de frequentie-inhoud van het geluid op een compacte manier weergeven.
Voor het berekenen van de MFCCs worden de volgende 5 stappen doorlopen:
Stap 1. Framing:¶
$ x_w[n] = x[n] \cdot w[n] $
Bij deze stap wordt het audio-signaal opgedeeld in kleine tijdvensters, ook wel frames genoemd. Dit helpt bij het vastleggen van de tijdsgebonden eigenschappen van het geluid. Het signaal binnen elk frame wordt vermenigvuldigd met een Hamming-vensterfunctie $ w[n] $ om abrupte overgangen aan het begin en einde van het frame te minimaliseren. Het resultaat is het venstergedragde signaal $ x_w[n] $.
$ X(k) = \text{FFT}(x_w[n]) $
Fast Fourier Transform (FFT):
Hier wordt de FFT toegepast op elk venstergedragde signaal $ x_w[n] $. Dit leidt tot de decompositie van het signaal van het tijddomein naar het frequentiedomein, waarbij de amplitudes en fasen van de frequentiecomponenten worden verkregen. De resulterende gegevens worden weergegeven als $ X(k) $, waarbij $ k $ de frequentie-index is.
Stap 3. Mel Filterbank:¶
$ S_m = \sum_{k=0}^{N-1} |X(k)|^2 \cdot H_m(k) $
In deze stap wordt de energie in verschillende frequentiebanden gemeten met behulp van een Mel-filterbank. Elk Mel-filter $ H_m(k) $ is ontworpen om de energie in een bepaald frequentiegebied te vertegenwoordigen volgens de Mel-schaal, die de menselijke waarneming van geluidsfrequentie weergeeft. De energie $ S_m $ in elk Mel-filter wordt berekend door de kwadraten van de magnitude van de FFT-resultaten te vermenigvuldigen met de overeenkomstige filterresponsen en deze op te tellen over alle frequentiebanden.
Stap 4. Logarithmic Scaling:¶
$ M_m = \log(S_m) $
Na het verkrijgen van de Mel-energieën, worden deze waarden logaritmisch geschaald. Dit wordt gedaan om de dynamische bereik van de gegevens te comprimeren en om de representatie te verbeteren, aangezien mensen logaritmische schalen beter waarnemen dan lineaire schalen. Het resultaat is een reeks logaritmisch geschaalde Mel-energieën $ M_m $.
$ C_l = \sum_{m=0}^{M-1} \cos\left(\frac{\pi l (2m + 1)}{2M}\right) \cdot M_m $
Ten slotte worden de logaritmisch geschaalde Mel-energieën onderworpen aan de DCT. Dit proces vertaalt de gegevens van het frequentiedomein naar het cepstrale domein, waarbij de coëfficiënten $ C_l $ worden verkregen. Deze coëfficiënten representeren verschillende frequentiecomponenten van het geluidsspectrum op een compacte en gestructureerde manier.
Gebruikte Symbolen:
- $ x[n] $: Audio signaal.
- $ w[n] $: Hamming window.
- $ X(k) $: Resultaat vab de FFT.
- $ H_m(k) $: $m$-de Mel filter.
- $ S_m $: Energie in het $m$-de Mel filter.
- $ M_m $: Log-Mel energie.
- $ C_l $: $l$- de MFCC coefficient.
- $ N $: Aantal frequentiepunten na FFT.
- $ M $: Aantal Mel filters.
- $ L $: Aantal gewenste MFCCs.
(Deruty, 2022)
Root Mean Square energy¶
Vervolgens voegen wij Root Mean Square energy (RMS energy) toe. Deze feature geeft aan hoeveel energie het signaal gemiddeld bevat. Bij ons gaat het hier om het geluidssignaal van muzieknummers. Aan de hand van de RMS energy kan de intensiteit van het signaal makkelijk worden beoordeeld. Hoe hoger de RMS energy, hoe luider het signaal gemiddeld is.
Voor het berekenen van de RMS energy nemen wij de RMS van het muzieksignaal. Dit gaat als volgt:
Kwadrateer elk monster $ x[n] $ in het signaal:
$ x^2[n] $
Bereken het gemiddelde van deze gekwadrateerde monsters over de hele periode $ N $:
$ \text{Gemiddelde} = \frac{1}{N} \sum_{n=0}^{N-1} x^2[n] $
Neem de vierkantswortel van dit gemiddelde:
$ \text{RMS} = \sqrt{\text{Gemiddelde}} $
(Hathaway, 2005)
Spectral Contrast¶
We voegen ook spectral contrast toe, een functie die het verschil in amplitude tussen pieken en dalen in een frequentiespectrum meet. Dit biedt inzicht in het perceptuele contrast tussen spectrale pieken en achtergrondgeluid, wat informatie oplevert over de toonkwaliteit van het geluid, in ons geval over verschillende muziekfragmenten.
De waarde van spectral contrast wordt bepaald door eerst het frequentiespectrum van het geluidssignaal op te splitsen in verschillende frequentiebanden. Vervolgens wordt voor elke frequentieband het contrast berekend tussen het gemiddelde energieniveau van die band en het gemiddelde energieniveau van aangrenzende frequentiebanden. Dit contrast wordt genormaliseerd om rekening te houden met verschillen in de absolute energieniveaus van het geluidssignaal. Ten slotte worden de resulterende waarden voor elke frequentieband samengevoegd tot een enkel kenmerk dat de mate van variabiliteit in het geluidsspectrum weergeeft.
Formule spectral contrast:
$$ C_m = \sum_{k=1}^{K} \left| X(k) \right| \cdot \left| X(k) - X_{\text{min}}(k) \right| $$
waarbij:
- $ C_m $ de spectral contrast feature voor de $ m $-de frequentieband is,
- $ X(k) $ de amplitude van de $ k $-de frequentie in het spectrum is,
- $ X_{\text{min}}(k) $ de laagste amplitude in de $ m $-de frequentieband is, en
- $ K $ het aantal frequentiebanden is.
(Librosa.Feature.Spectral_Contrast — Librosa 0.10.1 Documentation, z.d.)
Tonnetz¶
Tonnetz is een concept uit de muziektheorie dat de harmonische relaties tussen tonen en akkoorden visualiseert door middel van een zeshoekig rooster of diagram, vergelijkbaar met een muzikale kaart waarop de onderlinge verbanden tussen verschillende tonen en akkoorden worden weergegeven.
De waarde van Tonnetz wordt bepaald door de berekening van de afstanden tussen punten op het rooster, wat de mate van harmonische verwantschap aangeeft. Deze berekening maakt gebruik van muziektheoretische concepten, zoals toonafstanden en intervallen, om de harmonische relaties te definiëren.
Punten die dicht bij elkaar liggen op het Tonnetz-rooster vertegenwoordigen sterke harmonische verbindingen, terwijl punten die verder uit elkaar liggen minder nauw verbonden zijn harmonisch gezien. De analyse van Tonnetz biedt inzicht in de harmonische structuur en relaties binnen een muziekstuk, wat van belang kan zijn voor ons voorspellend model.
In ons project maken we gebruik van de librosa-module om de Tonnetz te bepalen. Eerst wordt het audiosignaal omgezet naar een spectrogram, waarna chromagramfuncties worden berekend. De afstanden tussen de chromagrampunten worden vervolgens omgezet naar een zeshoekig Tonnetz-rooster met behulp van een transformatiematrix die de relaties tussen noten weergeeft. Uiteindelijk kan hiermee een visuele weergave worden getoond, waardoor we de muzikale structuur en harmonische samenhang van het signaal kunnen analyseren.
Verder is er geen specifieke formule voor het berekenen van Tonnetz, omdat het een conceptueel model is dat gebaseerd is op muziektheoretische principes en geometrische representatie.
(Librosa.Feature.Tonnetz — Librosa 0.10.1 Documentation, z.d.)
Spectral Rolloff¶
Het spectral rolloff is eenvoudigweg de frequentie die het frequentiegebied onder een bepaald percentage van de totale spectrale energie verdeelt, meestal is dit bij 85%. Bovendien dient het als een indicator van de mate van verandering in spectrale energie naarmate de frequentie toeneemt, waardoor het informatie verschaft over de steilheid van het spectrum van een geluidssignaal.
De formule is gegeven door:
$ R = \frac{\sum_{f} S(f)}{\sum_{f} S(f_{\text{totaal}})} \cdot 100 \leq p $
- $ R $: Spectraalverloop frequentie.
- $ S(f) $: Spectrale energie bij frequentie $ f $.
- $ S(f_{\text{totaal}}) $: Totale spectrale energie.
- $ p $: Percentage van de totale spectrale energie (bijvoorbeeld 85% of 95%).
(Librosa.Feature.Spectral_Rolloff — Librosa 0.10.1 Documentation, z.d.)
Chroma Features¶
Chroma-kenmerken bieden inzicht in de toonhoogteverdeling in muziek, waarbij de tonale kwaliteiten worden benadrukt. Het chromagram, een grafische weergave van de chroma-kenmerken, deelt het muzikale octaaf op in 12 gelijke delen, die overeenkomen met de 12 muzikale toonhoogteklassen: {C, C♯, D, D♯, E, F, F♯, G, G♯, A, A♯, B}
De chroma-Features worden berekend met behulp van het chromagram, waarbij elke chromawaarde (C_i) wordt bepaald door de som van de magnitudes van de frequentiecomponenten die overeenkomen met de betreffende toonhoogteklasse. Met andere woorden, voor elke toonhoogteklasse wordt de magnitude van alle frequentiecomponenten die in die klasse vallen opgeteld.(Wikipedia contributors, 2024)
De formule om de chromawaarde $ C_i $ te berekenen is:
$ C_i = \sum_{j} \text{magnitude}(f_j) $
Hierbij staat $ C_i $ voor de chromawaarde voor de $ i $-de toonhoogteklasse, en magnitude$ \text{magnitude}(f_j) $ staat voor de magnitude van de $ j $-de frequentiecomponent in het spectrum die overeenkomt met de betreffende toonhoogteklasse. De sommatie wordt uitgevoerd over alle frequentiecomponenten die overeenkomen met de $ i $-de toonhoogteklasse.
Dit proces wordt herhaald voor elk van de twaalf toonhoogteklassen om de complete chroma-kenmerken te verkrijgen.
Mel Spectral Contrast Features¶
We voegen ook Mel Spectral Contrast features toe, een functie die het verschil in amplitude tussen pieken en dalen in een frequentiespectrum meet, maar dan op basis van de Mel-schaal. Dit biedt inzicht in het perceptuele contrast tussen spectrale pieken en achtergrondgeluid, waardoor we informatie verkrijgen over de toonkwaliteit van het geluid, met name voor verschillende muziekfragmenten.
De waarde van Mel Spectral Contrast wordt bepaald door eerst het frequentiespectrum van het geluidssignaal om te zetten naar de Mel-schaal. Vervolgens wordt voor elke Mel-frequentieband het contrast berekend tussen het gemiddelde energieniveau van die band $ \mu_m $ en het gemiddelde energieniveau van aangrenzende Mel-frequentiebanden. Dit contrast wordt gewogen met het kwadraat van de afstand tot het gemiddelde $ (m - \mu_m)^2 $ en genormaliseerd om rekening te houden met verschillen in de absolute energieniveaus van het geluidssignaal. Ten slotte worden de resulterende waarden voor elke Mel-frequentieband samengevoegd tot een enkel kenmerk dat de mate van variabiliteit in het geluidsspectrum weergeeft. Dit kenmerk voegen wij uiteindelijk toe aan het dataframe.(Verma, 2021)
Formule voor mel spectral contrast:
$$ text{Mel_Spectral_Contrast}(X) = \frac{\sum_{m=1}^{M} (m - \mu_m)^2 \cdot S_m}{\sum_{m=1}^{M} S_m} $$
Spectral Flatness¶
Spectral Flatness is een audiokenmerk dat de mate van variabiliteit in het frequentiespectrum van een geluidssignaal beschrijft. Het geeft aan hoe gelijkmatig de energie verdeeld is over de frequentiebanden in het spectrum. Een hoge waarde voor Spectral Flatness suggereert een gelijkmatige verdeling van energie over het spectrum, wat kan duiden op een geluidssignaal met een breed frequentiebereik en een gebrek aan dominante frequentiepieken. Aan de andere kant duidt een lage waarde op een sterk piekachtig spectrum, waarbij de energie geconcentreerd is rond specifieke frequenties.
De waarde van Spectral Flatness wordt berekend door de meetkundige gemiddelde (GM) te delen door het rekenkundige gemiddelde (AM) van de amplitudes van de frequentiecomponenten in het spectrum. Met andere woorden, het wordt berekend als de verhouding tussen het gemiddelde van de logaritmische amplitudes en de logaritmische amplitude van het gemiddelde. Deze verhouding wordt vaak genormaliseerd om waarden tussen 0 en 1 te krijgen, waarbij een waarde dichter bij 1 wijst op een vlakker spectrum en een waarde dichter bij 0 op een meer piekachtig spectrum.(Wikipedia contributors, 2023)
In formulevorm kan Spectral Flatness worden uitgedrukt als:
$$
\text{Spectral Flatness} = \frac{{\exp\left(\frac{1}{N} \sum_{i=1}^{N} \ln(A_i)\right)}}{{\frac{1}{N} \sum_{i=1}^{N} A_i}}
$$
Waarbij $ (A_i) $ de amplitude van de $i$-de frequentiecomponent is en $N$ het totale aantal frequentiecomponenten in het spectrum.
Zero Crossing Rate¶
Zero Crossing Rate (ZCR) is een audiokenmerk dat de frequentie van signaalovergangen door nul in een geluidssignaal meet. Het houdt rekening met het aantal keren dat het signaal de horizontale as kruist en geeft daarmee een indicatie van de veranderingen in het signaal over de tijd. Een hogere ZCR duidt op meer veranderingen in het signaal en kan worden geassocieerd met geluiden met een hogere mate van dynamiek of ruwheid, wat waardevolle informatie biedt over de aard en complexiteit van het geluidssignaal.
De Zero Crossing Rate wordt berekend met behulp van de formule:
$$
\text{ZCR} = \frac{1}{N-1} \sum_{n=1}^{N-1} | \text{sign}(x[n]) - \text{sign}(x[n-1]) |
$$
Hierbij staat $ N $ voor het aantal samples in het signaal en $ x[n] $ voor de waarde van het signaal op het tijdstip $ n $. De ZCR geeft het gemiddelde aantal keren aan waarop het signaal de waarde nul kruist per tijdsinterval, wat een indicatie kan zijn van de mate van verandering of activiteit in het signaal.(Torres-García et al., 2022)
Bandwidth¶
Bandbreedte, ook wel bekend als Bandwidth, refereert naar het bereik van frequenties binnen een signaal of een frequentiespectrum. Het indiceert hoeveel ruimte een signaal beslaat op de frequentieschaal en wordt uitgedrukt in hertz (Hz). Een brede bandbreedte suggereert dat het signaal een uitgebreid frequentiebereik omvat, terwijl een smalle bandbreedte aanduidt dat het signaal beperkt is tot een klein frequentiebereik.
De waarde van de bandbreedte wordt vastgesteld door het verschil te berekenen tussen de hoogste en laagste frequentiecomponenten in het signaal of frequentiespectrum. Dit kan worden uitgedrukt door de frequentie van het hoogste punt in het spectrum te verminderen met de frequentie van het laagste punt. In een frequentiespectrum wordt de bandbreedte beïnvloed door de breedte van de pieken die de energie van het signaal op verschillende frequenties weergeven. Een bredere piek duidt op een grotere bandbreedte, terwijl een smallere piek wijst op een kleinere bandbreedte.
De formule voor het berekenen van de bandbreedte $ B $ is:
$$ B = f_{\text{max}} - f_{\text{min}} $$
Waarbij $ f_{\text{max}} $ de frequentie van het hoogste punt in het spectrum vertegenwoordigt, en $ f_{\text{min}} $ de frequentie van het laagste punt in het spectrum.
Centroids¶
Centroids, in de context van signaalverwerking en akoestische analyse, zijn maatstaven die worden gebruikt om de centrale frequentie van een signaal of een frequentiespectrum te kwantificeren. Het concept van een centroid komt voort uit de statistiek, waar het verwijst naar het massamiddelpunt van een geometrische vorm.
In de context van akoestische analyse, vertegenwoordigt de centroid de gemiddelde frequentie van een geluidssignaal. Het is een belangrijk kenmerk dat informatie geeft over waar de meeste energie in het frequentiespectrum van het signaal geconcentreerd is. De centroid kan bijvoorbeeld aangeven of een geluidssignaal eerder laagfrequent (lage centroid) of hoogfrequent (hoge centroid) is.(Wikipedia contributors, 2024a)
Hieronder staat de formule voor het berekenen van de centroid.
De formule voor het berekenen van de centroid ($ C $) is:
$$ C = \frac{\sum_{i} f_i \cdot A_i}{\sum_{i} A_i} $$
- $ C $: Centroid (gemiddelde frequentie).
- $ f_i $: Frequentie van de $ i $-de component.
- $ A_i $: Amplitude (of magnitude) van de $ i $-de component.
